连贯性

ExVideo

ExVideo是一种视频合成模型后调优技术,能够生成长达128帧的连贯视频,同时保持原始模型的生成能力。该技术通过优化3D卷积、时间注意力和位置嵌入等模块,使模型能够处理更长时间跨度的内容。ExVideo的核心优势在于其高效的后调优策略,减少计算资源需求,保持视频质量,适用于计算资源有限的情况。

ScribbleDiff

ScribbleDiff是一种创新的文本到图像生成技术,通过涂鸦分析和传播算法,将用户简单的涂鸦转换为高质量的图像。其核心技术包括矩对齐和涂鸦传播,确保生成图像的方向一致性与细节完整性。ScribbleDiff支持多种应用场景,如艺术创作、游戏开发、教育、广告设计和UI/UX设计,为用户提供直观、高效且无须额外训练的图像生成体验。

Anifusion

Anifusion是一款基于人工智能技术的在线漫画与动漫图片生成平台,允许用户通过输入描述性提示生成专业级别的漫画页面和角色图像。平台具备丰富的编辑工具,如画布编辑器、布局工具以及图像编辑功能,支持用户对生成内容进行细化调整。其应用场景广泛,涵盖独立漫画创作、教育内容制作、营销材料设计等领域。

CAVIA

CAVIA是一款由苹果、得克萨斯大学奥斯汀分校和谷歌联合研发的多视角视频生成框架。它通过单一输入图像生成多个时空一致的视频序列,并采用视角集成注意力模块增强视频的一致性和连贯性,支持用户精准控制相机运动。此外,CAVIA利用多种数据源进行联合训练,优化生成视频的质量和真实感,在虚拟现实、增强现实以及电影制作等领域具有重要价值。

VideoJAM

VideoJAM是Meta开发的视频生成框架,旨在提升视频运动连贯性。通过联合学习外观与运动信息,在训练阶段同时预测像素和运动特征,并在推理阶段利用动态引导机制优化生成结果。该技术具备高度通用性,可适配多种视频生成模型,无需调整训练数据或模型结构,已在多项基准测试中表现优异,适用于影视、游戏、教育等多个领域。

CustomVideoX

CustomVideoX是一种基于视频扩散变换器的个性化视频生成框架,能够根据参考图像和文本描述生成高质量视频。其核心技术包括3D参考注意力机制、时间感知注意力偏差(TAB)和实体区域感知增强(ERAE),有效提升视频的时间连贯性和语义一致性。支持多种应用场景,如艺术设计、广告营销、影视制作等,具备高效、精准和可扩展的特点。

VLOGGER

VLOGGER AI是一款由谷歌研究团队开发的多模态扩散模型,主要用于从单一输入图像和音频样本生成逼真的、连贯的人像动态视频。该工具能够根据音频控制人物动作,包括面部表情、唇部动作、头部运动、眼神、眨眼及上身和手部动作,实现音频驱动的视频合成。VLOGGER生成的视频具有高度的真实性和多样性,能够展示原始主体的不同动作和表情。此外,VLOGGER还可以用于编辑现有视频和跨语言视频内容适配。

BrushNet

BrushNet是一款基于扩散模型的图像修复工具,采用双分支架构处理遮罩区域。它能够实现像素级修复,保持修复区域与原始图像的一致性和高质量。BrushNet适用于多种场景和风格的图像,包括人类、动物、室内和室外场景,以及自然图像、铅笔画、动漫、插画和水彩画等。通过与预训练扩散模型结合,BrushNet提供灵活的修复控制,同时保留未遮罩区域的细节。

Veo

Veo是Google DeepMind开发的一款视频生成模型,用户可以通过文本、图像或视频提示来指导其生成所需的视频内容。Veo具备深入的自然语言理解能力,能够准确解析用户的文本提示,生成高质量、高分辨率的视频。其主要功能包括高分辨率视频输出、自然语言处理、风格适应性、创意控制与定制、遮罩编辑功能、参考图像与风格应用、视频片段的剪辑与扩展以及视觉连贯性。Veo技术目前仍处于实验阶段,但已在电影制作

Video Diffusion Models

Video Diffusion Models项目展示了扩散模型在视频生成领域的潜力,通过创新的梯度条件方法和自回归扩展技术,生成了具有高度时间连贯性和质量的视频样本。